Kilmer sinh ngày 31 tháng 12 năm 1959, ở Los Angeles, con trai của Gladys Swanette (nhũ danh Ekstadt) và Eugene Dorris Kilmer, một nhà phân phối thiết bị hàng không vũ trụ và nhà phát triển bất động sản. Mẹ ông là người gốc Thụy Điển. Tổ tiên của cha ông bao gồm Scotland, Ireland, Pháp và Đức. Cha mẹ ông ly hôn năm 1968 khi ông 8 tuổi. Ông của Kilmer là một thợ mỏ vàng ở New Mexico, gần biên giới với Arizona. Năm 1977, em trai của Kilmer, Wesley, bị chết đuối trong hồ bơi lúc 15 tuổi. Cha của họ qua đời năm 1993.

Kilmer đã theo học trường Berkeley Hall, một trường Khoa học Thiên chúa giáo ở Los Angeles, cho đến lớp chín. Ông đã tham dự Chatsworth High School với Kevin Spacey và Mare Winningham, và cũng đã tham dự Hollywood Professional School. Ông trở thành người trẻ nhất vào thời điểm đó để được nhận vào Khoa Kịch nghệ của trường Juilliard.